Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models
多模态协同编码 Agent 评估基准 Co-Design Bench
🧭 多模态 Agent 编码评估基准
Fudan University · Alibaba Token Hub, Alibaba Group · Zhejiang University · The Chinese University of Hong Kong · Shanghai Jiao Tong University
构建参考无关的多模态协同编码基准 Co-Design Bench，评估 10 个模型端点，最强模型完全满足率仅 26.4%
📌 工作参考价值（4 点）
- 细粒度评估指标：借鉴 judge-then-refute 协议，对 Agent 输出先设置多个可检查的验收标准（如 UI 元素、交互逻辑、功能正确性），再用独立 LLM 挑战正面判断，减少评判幻觉。电商搜索推荐 Agent 可用类似方式评估生成式推荐解释、多模态商品描述改写等任务。
- 真实用户任务挖掘：从真实用户会话日志中清洗、去重、规范化请求来构建评测集，能更贴近线上分布，优于纯人工合成任务。推荐系统可复用此流程构建 Query 改写、会话式推荐的离线评估集。
- 区分部分满足与完全满足：不只报告平均分，还要统计完全满足所有标准（全对）的任务比例，以暴露 Agent 在多约束复杂任务中的短板。这适用于多步骤推荐 Agent（如跨意图理解、多轮交互、最终生成商品卡片）的评估。
- 多模态输入的融合测试：在编码任务中加入图像、音频、文档等多模态输入，能考察 Grounded Understanding 能力。电商场景中，商品图+文本描述+用户语音的多模态 Query 理解可以直接借鉴此类任务设计。